绑架性自然语言推断(\ alpha {} nli)的任务是确定哪种假设是一组观察的可能性更可能的解释,是NLI的特别困难类型。与其仅仅确定因果关系,还需要常识,还需要评估解释的合理性。所有最新的竞争系统都以情境化表示为基础,并利用变压器体系结构来学习NLI模型。当某人面对特定的NLI任务时,他们需要选择可用的最佳模型。这是一项耗时且资源浓厚的努力。为了解决这个实用问题,我们提出了一种简单的方法来预测性能,而无需实际调整模型。我们通过测试预先训练的模型在\ alpha {} NLI任务上的性能如何,仅将具有余弦相似性的句子嵌入到训练这些嵌入式的分类器时所达到的性能。我们表明,余弦相似方法的准确性与Pearson相关系数为0.65的分类方法的准确性密切相关。由于相似性计算是在给定数据集上计算的数量级(少于一分钟与小时),因此我们的方法可以在模型选择过程中节省大量时间。
translated by 谷歌翻译